Recentemente, a equipe do Meta AI lançou o modelo de arquitetura de previsão de incorporação conjunta de vídeo (V-JEPA), uma iniciativa inovadora que visa impulsionar o desenvolvimento da inteligência artificial. Os humanos processam naturalmente informações de sinais visuais, reconhecendo objetos e padrões de movimento ao seu redor. Um objetivo importante do aprendizado de máquina é revelar os princípios fundamentais que impulsionam a aprendizagem não supervisionada em humanos. Os pesquisadores propuseram uma hipótese crucial — o princípio da predição de recursos —, argumentando que as representações de entradas sensoriais contínuas devem ser capazes de prever umas às outras. Métodos de pesquisa anteriores por meio da análise de recursos lentos

A Twelve Labs desenvolveu uma tecnologia de IA inovadora capaz de analisar e pesquisar conteúdo de vídeo. Os usuários podem pesquisar por conteúdo específico, como "Quando a pessoa de camisa vermelha entrou no restaurante", e também gerar resumos automáticos de clipes de vídeo. Essa tecnologia já atraiu a atenção de grandes investidores, como Nvidia, Samsung e Intel. Em comparação com tecnologias existentes, como o Gemini do Google, a maior vantagem da Twelve Labs é sua alta personalização; os clientes podem treinar o modelo com seus próprios dados para atender às suas necessidades específicas.

A NVIDIA recentemente lançou um novo projeto de IA para busca e resumo de vídeos (AI Blueprint for Video Search and Summarization), uma solução tecnológica que mudará radicalmente as limitações da análise de vídeo tradicional. Ao contrário dos modelos fixos do passado que só conseguiam identificar objetos predefinidos, o novo projeto, combinando IA generativa, modelos de linguagem visual (VLM) e modelos de linguagem ampla (LLM), alcança uma compreensão profunda e interação natural com o conteúdo do vídeo. Este sistema é construído em N

Modelos de linguagem grandes multimodais (MLLMs) têm demonstrado progresso significativo na compreensão de vídeo, mas o processamento de vídeos extremamente longos continua sendo um desafio. Isso ocorre porque os MLLMs geralmente lutam para lidar com milhares de tokens visuais que excedem o comprimento máximo de contexto e sofrem de atenuação de informações devido à agregação de tokens. Além disso, um grande número de tokens de vídeo resulta em altos custos computacionais. Para resolver esses problemas, o Instituto de Inteligência Artificial de Pequim (BAAI), em colaboração com várias universidades, propôs o Video-XL.

O Instituto de Inteligência Artificial de Pequim, em colaboração com a Universidade Jiao Tong de Xangai, a Universidade do Povo Chinês, a Universidade de Pequim e a Universidade de Ciência e Tecnologia de Pequim, lançou um modelo de compreensão de vídeo longo chamado Video-XL. Este modelo demonstra uma capacidade central dos modelos multimodais e representa um passo fundamental em direção à inteligência artificial geral (AGI). Em comparação com os modelos multimodais existentes, o Video-XL demonstra desempenho e eficiência superiores no processamento de vídeos com mais de 10 minutos de duração.

Recentemente, a equipe de pesquisa de IA da Salesforce lançou um novo modelo de linguagem multimodal: o BLIP-3-Video. Com o rápido aumento do conteúdo de vídeo, o processamento eficiente de dados de vídeo tornou-se um problema premente. Este modelo visa melhorar a eficiência e a eficácia da compreensão de vídeo, aplicável a vários setores, desde direção autônoma até entretenimento. Os modelos tradicionais de compreensão de vídeo geralmente processam vídeos quadro a quadro, gerando uma grande quantidade de informações visuais. Esse processo não apenas consome muitos recursos computacionais, mas também limita significativamente a

Recentemente, Wenyi Yu e sua equipe da Universidade Nacional de Singapura propuseram uma nova tecnologia chamada video-SALMONN, que não apenas compreende sequências de quadros visuais, eventos de áudio e música em vídeos, mas, mais importante, compreende o conteúdo de fala nos vídeos. O desenvolvimento dessa tecnologia marca um passo significativo em nossa jornada para permitir que máquinas compreendam o conteúdo de vídeo.

Este artigo apresenta o VideoPrism, um codificador de vídeo desenvolvido pela equipe de pesquisa do Google. Este modelo consegue desempenho avançado em várias tarefas de compreensão de vídeo usando um único modelo, incluindo classificação de vídeo, localização e geração de legendas, e até mesmo respondendo a perguntas relacionadas a vídeos. O método de treinamento envolve três etapas: apresentar vídeos diversos, usar pares de vídeo-legenda de alta qualidade e treinar o modelo com texto paralelo com ruído. A quantidade de dados de treinamento é enorme, incluindo 36 milhões de dados de alta qualidade e 5820 milhões de pares de dados. O VideoPrism é baseado em

A ZhiPu AI anunciou uma atualização de código aberto para o modelo CogVLM2-Video, um modelo que demonstra progresso significativo no campo da compreensão de vídeo. O CogVLM2-Video resolve as limitações dos modelos existentes de compreensão de vídeo no tratamento da perda de informações temporais, introduzindo imagens de vídeo multi-frame e timestamps como entrada do codificador. O modelo utiliza um método automatizado de construção de dados de localização temporal para gerar 30.000 pares de perguntas e respostas em vídeo relacionados ao tempo, treinando assim um modelo que atinge o desempenho de ponta em benchmarks públicos de compreensão de vídeo.